베이지안 패러다임의 핵심적인 전환은 알려지지 않은 매개변수 $\theta$의 존재론적 성격에 있다. 빈도주의 통계는 $\theta$를 고정된 그러나 알 수 없는 상수로 간주하는 반면, 베이지안 접근법은 $\theta$를 무작위 변수으로 간주한다. 이를 통해 사전 확률 측도 $\Pi$를 통해 불확실성을 정량화할 수 있다.
베이지안 모델 구축
완전한 베이지안 모델은 쌍 $(\{f_{\theta} : \theta \in \Omega\}, \Pi)$로 정의된다. 베이지안 추론은 단순히 '베이즈 정리 사용'을 넘어서, 추론을 위한 필수 요소로서 사전 확률 분포 표본 모델에 추가하는 의도적인 행위이다.
우리 지식의 전체 상태는 공동 분포 $\pi(\theta) f_{\theta}(s)$로 표현된다. 이 함수는 관측된 데이터 $s$와 관측되지 않은 매개변수 $\theta$를 하나의 일관된 확률적 프레임워크 안에서 연결한다.
직접적인 확률 진술
이 패러다임에서는 $\theta$가 확률 밀도 $\pi(\theta)$에 의해 결정된다. 이는 $P(\theta \in A)$와 같은 매개변수에 대한 직접적인 확률 진술을 가능하게 한다. 빈도주의 틀에서는 $\theta$가 확률 분포를 가지지 않기 때문에 이러한 진술은 논리적으로 불가능하며, 정의되지 않는다.
현실 세계의 비유: 의료 진단
희귀 질병 진단에서 '상수'는 환자가 질병을 가지고 있는지 여부이다. 베이지안 패러다임에서는 질병 상태 $(\theta)$를 무작위 변수로 간주한다. 만약 유병률이 0.1%(사전 확률)이고, 검사(모델 $f_{\theta}$) 결과가 양성이라면, 단순히 검사의 정확도만 보는 것이 아니라, 질병을 갖고 있으면서 동시에 양성 판정을 받는 공동 확률을 살펴보아 질병의 새로운 확률을 결정한다.